The receptive field (RF), which determines the region of time series to be ``seen'' and used, is critical to improve the performance for time series classification (TSC). However, the variation of signal scales across and within time series data, makes it challenging to decide on proper RF sizes for TSC. In this paper, we propose a dynamic sparse network (DSN) with sparse connections for TSC, which can learn to cover various RF without cumbersome hyper-parameters tuning. The kernels in each sparse layer are sparse and can be explored under the constraint regions by dynamic sparse training, which makes it possible to reduce the resource cost. The experimental results show that the proposed DSN model can achieve state-of-art performance on both univariate and multivariate TSC datasets with less than 50\% computational cost compared with recent baseline methods, opening the path towards more accurate resource-aware methods for time series analyses. Our code is publicly available at: https://github.com/QiaoXiao7282/DSN.

Ultrasound is progressing toward becoming an affordable and versatile solution to medical imaging. With the advent of COVID-19 global pandemic, there is a need to fully automate ultrasound imaging as it requires trained operators in close proximity to patients for long period of time. In this work, we investigate the important yet seldom-studied problem of scan target localization, under the setting of lung ultrasound imaging. We propose a purely vision-based, data driven method that incorporates learning-based computer vision techniques. We combine a human pose estimation model with a specially designed regression model to predict the lung ultrasound scan targets, and deploy multiview stereo vision to enhance the consistency of 3D target localization. While related works mostly focus on phantom experiments, we collect data from 30 human subjects for testing. Our method attains an accuracy level of 15.52 (9.47) mm for probe positioning and 4.32 (3.69){\deg} for probe orientation, with a success rate above 80% under an error threshold of 25mm for all scan targets. Moreover, our approach can serve as a general solution to other types of ultrasound modalities. The code for implementation has been released.

Embedding tables are usually huge in click-through rate (CTR) prediction models. To train and deploy the CTR models efficiently and economically, it is necessary to compress their embedding tables at the training stage. To this end, we formulate a novel quantization training paradigm to compress the embeddings from the training stage, termed low-precision training (LPT). Also, we provide theoretical analysis on its convergence. The results show that stochastic weight quantization has a faster convergence rate and a smaller convergence error than deterministic weight quantization in LPT. Further, to reduce the accuracy degradation, we propose adaptive low-precision training (ALPT) that learns the step size (i.e., the quantization resolution) through gradient descent. Experiments on two real-world datasets confirm our analysis and show that ALPT can significantly improve the prediction accuracy, especially at extremely low bit widths. For the first time in CTR models, we successfully train 8-bit embeddings without sacrificing prediction accuracy. The code of ALPT is publicly available.

事实证明，对预训练的模型进行迅速基于基于预训练的模型的微调对许多自然语言处理任务有效。但是，尚未对生物医学领域的迅速进行调整。生物医学单词在一般领域通常很少见，但在生物医学环境中无处不在，这在微观调整后即使在下游生物医学应用上都显着恶化了预训练的模型的性能，尤其是在低资源场景中。我们提出了一种简单而有效的方法，可以帮助模型在迅速调整过程中学习稀有的生物医学单词。实验结果表明，我们的方法可以使用少量的香草提示设置，无需任何额外的参数或培训步骤即可提高生物医学自然推理任务6％。

视频识别的标准方法通常在完整的输入视频上运行，由于视频中的时空冗余率广泛，因此效率低下。蒙版视频建模（即视频）的最新进展表明，香草视觉变压器（VIT）仅具有有限的视觉内容来补充时空上下文的能力。受到这一点的启发，我们提出了建议的蒙版动作识别（MAR），该识别（MAR）通过丢弃一定比例的补丁并仅在视频的一部分上操作来减少冗余计算。 MAR包含以下两个必不可少的组件：单元运行掩盖和桥接分类器。具体而言，为了使VIT轻松地感知细节以外的细节，并且会呈现单元格的掩蔽，以保留视频中的时空相关性，从而确保可以在同一空间位置观察到在同一空间位置的贴片，以便轻松地重建。此外，我们注意到，尽管部分观察到的特征可以重建语义上明确的隐形贴片，但它们无法实现准确的分类。为了解决这个问题，提出了一个桥接分类器，以弥合重建的VIT编码功能与专门用于分类的功能之间的语义差距。我们提出的MAR将VIT的计算成本降低了53％，并且广泛的实验表明，MAR始终以明显的边距优于现有的VIT模型。尤其是，我们发现由MAR训练的Vit-Lage胜过由标准培训方案训练的Vit-Bugue，这是通过说服Kinetics-400和某些v2数据集中的利润率，而VIT-LARGE的计算开销仅为14.5％。维特（Vit-Huge）。

激光雷达语义分割的当前方法对于现实世界应用，例如自动驾驶，因为它是封闭式和静态的。封闭设置的假设使网络只能输出训练的类的标签，即使是从未见过的对象，而静态网络也无法根据所看到的知识来更新其知识库。因此，在这项工作中，我们提出了激光点云的开放世界语义细分任务，其目的是1）使用开放式语义分段确定旧类和新颖的类，以及2）逐渐将新颖对象纳入现有知识库中使用增量学习而不会忘记旧课程。为此，我们提出了一个冗余分类器（真实）框架，以为开放式语义细分和增量学习问题提供一般体系结构。实验结果表明，真实可以同时在Semantickitti和Nuscenes数据集中的开放式语义分割任务中实现最新性能，并在增量学习过程中减轻灾难性遗忘问题，并减少较大的利润率。

该技术报告介绍了我们在CVPR-2022 AcitivityNet Challenge中为时间动作检测任务的第一名获胜解决方案。该任务旨在通过长期未经修剪的视频中的特定类别定位动作实例的时间界。最近的主流尝试基于密集的边界匹配，并列举所有可能的组合以产生建议。我们认为，生成的提案包含丰富的上下文信息，这可能会受益于检测信心预测。为此，我们的方法主要包括以下三个步骤：1）慢速，CSN，TimesFormer，TSP，i3d-Flow，i3d-flow，vggish-audio，tpn和vivit的动作分类和特征提取； 2）提案生成。我们提出的上下文感知建议网络（CPN）建立在BMN，GTAD和PRN之上，以通过随机掩盖某些建议功能来汇总上下文信息。 3）动作检测。最终检测预测是通过分配具有相应视频级分类结果的建议来计算的。最后，我们在不同的功能组合设置下将结果整合在一起，并在测试集中实现45.8％的性能，从而将CVPR-2021 ActivityNet挑战的冠军结果提高了1.1％。

神经隐式功能最近显示了来自多个视图的表面重建的有希望的结果。但是，当重建无限或复杂的场景时，当前的方法仍然遭受过度复杂性和稳健性不佳。在本文中，我们介绍了RegSDF，这表明适当的点云监督和几何正规化足以产生高质量和健壮的重建结果。具体而言，RegSDF将额外的定向点云作为输入，并优化了可区分渲染框架内的签名距离字段和表面灯场。我们还介绍了这两个关键的正规化。第一个是在给定嘈杂和不完整输入的整个距离字段中平稳扩散签名距离值的Hessian正则化。第二个是最小的表面正则化，可紧凑并推断缺失的几何形状。大量实验是在DTU，BlendenDMV以及储罐和寺庙数据集上进行的。与最近的神经表面重建方法相比，RegSDF即使对于具有复杂拓扑和非结构化摄像头轨迹的开放场景，RegSDF也能够重建表面。

微调下游任务的预培训语言模型已成为NLP的标准。最近发现，基于高级推理任务的中间培训如问题应答（QA）可以提高某些语言模型的目标任务的性能。然而，如果中间培训通常有益于各种语言模型，则不清楚。本文使用Squad-2.0 QA任务进行目标文本分类任务的中间培训，我们在使用两个基础和两个紧凑的语言模型的六个任务中尝试了八个任务和六个任务。我们的实验表明，基于QA的中间培训在不同语言模型中产生不同的传输性能，除了类似的QA任务。

空间卷积广泛用于许多深度视频模型。它基本上假设了时空不变性，即，使用不同帧中的每个位置的共享权重。这项工作提出了用于视频理解的时间 - 自适应卷积（Tadaconv），这表明沿着时间维度的自适应权重校准是促进在视频中建模复杂的时间动态的有效方法。具体而言，Tadaconv根据其本地和全局时间上下文校准每个帧的卷积权重，使空间卷积具有时间建模能力。与先前的时间建模操作相比，Tadaconv在通过卷积内核上运行而不是特征，其维度是比空间分辨率小的数量级更有效。此外，内核校准还具有增加的模型容量。通过用Tadaconv替换Reset中的空间互联网来构建坦达2D网络，这与多个视频动作识别和定位基准测试的最先进方法相比，导致PAR或更好的性能。我们还表明，作为可忽略的计算开销的容易插入操作，Tadaconv可以有效地改善许多具有令人信服的边距的现有视频模型。 HTTPS：//github.com/alibaba-mmai-research/pytorch-video -Undersing提供代码和模型。